Năm 1927, ông bí mật sang Trung Quốc dự lớp huấn luyện về lý luận do Nguyễn Ái Quốc phụ trách, tham gia Việt Nam Thanh niên Cách mạng Đồng chí Hội, được huấn luyện tại Quảng Châu. Sau khi về nước, ông tham gia phong trào vô sản hóa của Kỳ bộ Thanh niên Bắc Kỳ.

Tháng 3 năm 1929, ông là một trong 7 người thành lập chi bộ cộng sản đầu tiên tại số nhà 5D Hàm Long, Hà Nội. Cũng trong năm này, ông tham gia thành lập Đông Dương Cộng sản Đảng. Thời gian này, ông gặp và sau đó lập gia đình với một bạn đồng chí là bà Nguyễn Thị Lệ.

Đầu năm 1930, ông được cử làm đại biểu của Đông Dương Cộng sản Đảng sang Hương Cảng tham gia Hội nghị thành lập Đảng Cộng sản Việt Nam, dưới sự chủ trì của Nguyễn Ái Quốc. Tại hội nghị này, các đại biểu của 2 đảng (An Nam Cộng sản Đảng và Đông Dương Cộng sản Đảng) đã đồng ý gác lại các mâu thuẫn, hợp nhất thành 1 chính đảng duy nhất lấy tên gọi là Đảng Cộng sản Việt Nam. Ông được bầu làm Ủy viên Ban Chấp hành Trung ương Lâm thời và được giao nhiệm vụ Phụ trách Ban Chấp hành Trung ương Lâm thời Đảng Cộng sản Việt Nam. Ông chỉ đạo biên tập báo Tranh đấu, cơ quan phát ngôn của Trung ương Đảng.[2]

Tháng 4 năm 1930, Trần Phú về nước và được bổ sung vào Ban Chấp hành Trung ương Lâm thời. Tháng 10 năm 1930, Hội nghị lần thứ nhất Ban Chấp hành Trung ương Đảng họp ở Hương Cảng (Trung Quốc), Ban Chấp hành Trung ương chính thức được bầu ra và Trần Phú được bầu Tổng Bí thư đầu tiên của Đảng.

Đầu năm 1931, ông cùng vợ là bà Nguyễn Thị Lệ xuống Hải Phòng đón Lê Duẩn từ Nam bộ ra để chuẩn bị cùng sang Trung Quốc. Ba người trú ngụ tại một ngôi nhà ở phố Cầu Đất, Hải Phòng. Tuy nhiên, chỉ 3 ngày sau, ngày 20 tháng 4 năm 1931, do có phản bội chỉ điểm, mật thám Pháp phát hiện và bắt một lúc cả ba người và sau đó đưa về giam tại nhà giam Hỏa Lò, Hà Nội.

Tháng 5 năm 1931, cả ba người đều bị kết án tù khổ sai. Ông và Lê Duẩn bị lưu đày nhiều nơi trước khi bị đày ra Côn Đảo. Tuy nhiên, đến tháng 7 năm 1936, do tác động của Mặt trận Bình dân tại chính quốc Pháp, ông cùng nhiều tù nhân chính trị được trả tự do, bao gồm cả Lê Duẩn và vợ ông.

Sau khi ra tù, ông trở về Hà Nội và chính thức làm lễ cưới với bà Nguyễn Thị Lệ. Do sức khỏe giảm sút nhiều, ông và vợ sống công khai nhưng vẫn hoạt động bí mật cho Đảng cho đến tận Cách mạng tháng 8.

Sau ngày Toàn quốc kháng chiến, ông được bầu vào Xứ ủy Bắc Kỳ, Chính trị viên Trường võ bị Trần Quốc Tuấn. Tháng 3 năm 1949, Trường Đảng Trung ương Nguyễn Ái Quốc được thành lập tại Định Hóa, Thái Nguyên. Ông được cử làm Phó Giám đốc của Trường.[3] Ông giữ chức vụ này cho đến tháng 8 năm 1950, khi trường Nguyễn Ái Quốc chuyển trường sở từ xã Vinh Quang (nay thuộc xã Kim Bình), huyện Chiêm Hóa, tỉnh Tuyên Quang.

Sau năm 1950, ông vẫn công tác như một cán bộ cao cấp của Trung ương Đảng. Sau năm 1960, ông nghỉ hưu sớm.

Ông qua đời ngày 24 tháng 10 năm 1990 tại Hà Nội. Ông được Nhà nước Việt Nam truy tặng Huân chương Hồ Chí Minh.